复杂 Agentic Memory 是否总是必要?朴素 RAG 比我们想的更强
🧭 长对话记忆中朴素 RAG 基线对比复杂 Agentic Memory
Xi'an Jiaotong University · Shanghai Jiao Tong University · Zhejiang University · The Chinese University of Hong Kong
在长对话理解中,基于原始历史的朴素 RAG 在多数基准上超越复杂 agentic memory,并揭示保留原始信息的重要性
📌 工作参考价值(4 点)
- 在电商客服、用户 long-term profile、Agent 对话等场景,可以先实现朴素 RAG:直接对原始历史做 dense retrieval + reranking,再交给 LLM 生成回答,工程成本远低于构建复杂记忆系统,却可能获得更高准确率。
- 保留原始交互序列和日志很重要。复杂记忆转换(如 summary、知识图谱、记忆更新)会引入信息损失,导致后续推导所需的依赖路径丢失;在推荐/客服场景应保留 raw evidence 作为检索源。
- 证据覆盖率比单条证据利用率更关键。朴素 RAG 可能检索到更多冗余但相关证据,即使部分证据未被 LLM 充分利用,也能通过提升 recall 来弥补 precision 的不足,因此评估记忆系统时不要只优化 top-k 精度。
- 重排序在 raw-history RAG 中是有效的 trick:先 dense retrieval 提高 recall,再用 reranker 压榨 top-k 质量,可以在低 ingestion 成本下达到甚至超越复杂记忆的表现。
Mem++:面向组织 LLM Agent 的非破坏性长期记忆
🧭 LLM Agent 长期组织记忆 · 读时检索 ★ 深度解读
The University of Texas at Austin · AIDAChip Inc.
Mem++ 用整文档存储与读时时间过滤+多路检索融合,替代写时蒸馏,在组织记忆基准上大幅领先
📌 工作参考价值(4 点)
- 在电商/广告规则、商品属性、政策文档等需要追溯“某时间点有效版本”的场景,不要写时蒸馏成事实或图谱,保留原始文档并按日期/作者索引,读时按 as-of 时间过滤检索。这样能回答“当时规则是什么”“谁改的”“从哪个版本改成哪个版本”等问题,避免旧版本被覆盖后无法回答。
- 多路检索融合策略可直接复用:lexical(精确 ID/术语)+ semantic(嵌入相似)+ tag(作者/店铺/品类)加权 RRF 融合,并保留 top k-3 融合结果 + 3 个最新日期匹配记录(recency reserve)。在商品搜索、客服知识库、推荐理由生成中能兼顾精确匹配与语义泛化,同时保证时效性。
- 写时零 LLM 调用,只做 embedding 和索引,读时才做选择。对海量商品/文档更新场景,可大幅降低写入延迟和费用;消融显示实体图谱、事实抽取、consolidation 在多个基准上增益有限甚至为负,可优先采用更简单的纯检索方案。
- 多作者冲突版本不删除、由答案模型读时判断,适合多客服、多团队知识库,避免一个模型在写入时错误地覆盖或合并关键信息,保持溯源能力。
MemTrapBench:评测 LLM 记忆使用中的认知陷阱
🧭 LLM 记忆认知陷阱评测与缓解
Zhejiang University · National University of Singapore · Northeastern University · Heriot-Watt University · Tencent
提出 MemTrapBench 评测记忆导致的推理固化与信念扭曲,发现所有记忆策略均不及无记忆,并提出 AdaptiveMem 推理时缓解
📌 工作参考价值(4 点)
- 在电商/推荐 Agent 的多轮记忆系统中,不要只评估记忆检索命中率,还要评测注入记忆后下游任务性能是否下降;可借鉴 MemTrapBench 的「无记忆 vs 有记忆」对照实验,建立内部回归测试集。
- 历史记忆可能把模型推理带偏:例如用户历史偏好固化导致推荐多样性下降、旧兴趣覆盖当前会话意图;可参考 Reasoning Fixation 和 Belief Distortion 两种陷阱分类,针对性设计监测指标。
- AdaptiveMem 的推理时元指令成本低,可直接在现有 RAG/记忆流水线上试加:「避免被检索到的历史记忆过度影响当前问题的判断」「优先依据当前用户会话信号」等 guardrail,作为轻量缓解手段。
- 对搜索推荐中的 query 改写/兴趣推理模块,可定期注入带干扰记忆的测试样本,检查模型是否被语义相关但误导性的历史信息带偏,提前发现认知陷阱风险。